AI Mindmeld:潜在互联协议,让专家表示直连 LLM
🧭 Agent 工具调用中的专家表示直连
Polymathic AI · New York University · Yale University · Flatiron Institute · Princeton University
提出 LIP 协议:冻结 LLM 只训练连接器,把专家表示直接映射进 LLM 内部状态,支持零样本跨域组合
📌 工作参考价值(4 点)
- 在电商搜索/推荐 Agent 中,用户、商品、行为序列通常已有高维 embedding;可为这些内部模型训练轻量连接器直接注入 LLM,而不是先把候选/特征转成文本摘要。冻结基座 LLM 只训 connector,成本低、可随 LLM 版本快速替换。
- 多专家可组合:商品理解、用户意图、广告文案等专家各自独立训练连接器,新专家接入无需重训旧连接器或 LLM;这种模块化设计适合业务中频繁新增召回/排序模型的场景。
- 零样本任务迁移提示:用表示注入替代 prompt 拼接,LLM 可被引导到未见过的组合任务(例如从用户 embedding + 商品 embedding 直接生成推荐理由),但需注意当前 LLM 不经专门训练可能不稳定,建议在 connector 输出层加 norm/对齐损失,或先用领域数据做轻量适配。
- 工程上可参考连接器映射到 LLM 某几层的 hidden state,类似 soft prompt / prefix injection;在线上服务时可预计算专家表示并缓存,connector 前向开销很小,便于高 QPS 推理。
YOPO:单次前向同时完成回答与弃答的冻结语言模型系统
🧭 LLM 推理 · 激活 steering / 弃答门控 ★ 深度解读
Georgia Institute of Technology · Columbia University · University of Wisconsin–Madison · University of Texas at Austin
在残差流同一前向里融合条件 steering 与零样本充分性门控,用无标签重建消除写读干扰
📌 工作参考价值(4 点)
- 在 RAG / 问答式推荐 / Agent 工具调用里,把“不确定就弃答或转人工”做成残差流上的零样本方向 d(sufficient 与 insufficient 的 diff-of-means),不要训练判别器;跨域阈值用目标域无标签样本的中位数校准,迁移稳定性更好。
- 如果要在同一前向 pass 里同时做生成/改写和不确定性门控,注意 write 会污染 read 信号。可以学一个轻量重建 map M:只做 steered→clean 的 MSE 重建,不需要任何弃答标签,就能恢复大部分 AUROC;小模型上尤其划算。
- 算力允许时,one-pass 里加监督 BCE boost 能在 in-domain 超过 two-pass clean read;但若业务有明显 domain shift 或小模型,优先用 label-free repair,避免 trained abstention 的跨域崩塌。
- 若用 steering / LoRA 做 query 改写、item 表示增强,注意训练目标会以 write 自由度换来跨域泛化损失:read-only < constrained write < free write。弃答/不确定性信号应放在 read head,不要写进同一个 write vector。